It Takes Two: Complementary Self-Distillation for Contextual Integrity in LLMs
互补自蒸馏：让 LLM 兼顾任务效用与上下文隐私完整性
🧭 LLM Agent 隐私对齐 · 互补自蒸馏
KAIST · DeepAuto.ai
提出 SELFCI 互补自蒸馏框架，用双教师乘积专家目标解耦隐私保护与任务效用，无需外部监督。
📌 工作参考价值（4 点）
- 解耦多目标优化：将隐私和效用分为两个独立教师信号，各自用逆 KL 散度逼近，最后通过乘积专家（PoE）组合目标，避免单一奖励信号冲突，可直接用于电商推荐中同时优化准确性、多样性、隐私等多目标。
- 无需外部标注的自蒸馏：完全基于模型自身反馈生成教师分布，省去昂贵人工标注，适合快速迭代；在隐私合规检查场景（如智能客服处理用户敏感信息）可快速部署尝试。
- 乘积专家集成方式：将两个甚至多个专家分布相乘得到对齐目标，提供了一种灵活的多目标集成方法，可推广到生成式推荐中组合协同过滤与内容过滤需求。
- 验证了 Agent 工作流泛化性：在涉及多步交互和累积隐私上下文的 Agent 场景中效果稳定，表明该方法可迁移到电商对话代理的长期隐私管理，如用户多轮对话中分层次披露地址、购买记录等。